Amortizing Maximum Inner Product Search with Learned Support Functions
最大内积搜索 (MIPS) 是机器学习中的一个重要子例程，需要识别数据库中获取的与给定查询最匹配的向量（键）。我们提出摊销 MIPS：一种基于回归的方法，训练神经网络直接预测 MIPS 解决方案，摊销重复解决来自固定密钥数据库上已知分布的查询的 MIPS 的成本。我们的主要见解是，MIPS 值函数是密钥集的支持函数，这是一个经过充分研究的凸函数，其梯度产生最佳密钥。这……
Learning Structured Reasoning via Tractable Trajectory Control
大型语言模型可以表现出紧急推理行为，通常表现为重复出现的词汇模式（例如，“等待”，表示验证）。然而，在无约束采样中，复杂的推理轨迹仍然稀疏，并且标准强化学习通常无法保证获取多样化的推理行为。我们提出通过结构化推理来系统地发现和强化不同的推理模式，这种范式需要在强化学习过程中有针对性地探索特定的推理模式。为此，我们提出了 Ctrl-R，一个学习框架......
On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
强化学习 (RL) 微调已成为增强推理密集型任务的大型语言模型 (LLM) 的关键技术，并推动其扩展到视觉语言模型 (VLM)。虽然经过 RL 调整的 VLM 改进了视觉推理基准，但它们仍然容易受到视觉基础薄弱、幻觉和过度依赖文本提示的影响。我们证明，简单的、受控的文本扰动——误导性的标题或不正确的思维链 (CoT) 痕迹——会导致鲁棒性和置信度大幅下降，并且当 CoT 一致性为……时，这些影响会更加明显。
Multi-Agent Teams Hold Experts Back
多代理 LLM 系统越来越多地部署为自主协作者，其中代理可以自由交互，而不是执行固定的、预先指定的工作流程。在这种情况下，有效的协调无法提前完全设计，而必须通过互动来实现。然而，大多数先前的工作都是通过固定的角色、工作流程或聚合规则来强制协调，从而留下了一个问题：当协调不受限制时，自组织团队的表现如何。借鉴组织心理学，我们研究自组织法学硕士团队是否能实现强大的协同作用，其中......
Anti-Causal Domain Generalization: Leveraging Unlabeled Data
领域泛化问题涉及学习预测模型，这些模型在部署到以前未见过的新环境中时对分布变化具有鲁棒性。现有方法通常需要来自多个训练环境的标记数据，当标记数据稀缺时限制了它们的适用性。在这项工作中，我们研究反因果环境中的领域泛化，其中结果导致观察到的协变量。在这种结构下，影响协变量的环境扰动不会传播到结果，这会促使模型对……的敏感性进行正则化。
Learning Unmasking Policies for Diffusion Language Models
扩散（大型）语言模型 (dLLM) 现在在许多任务上与自回归模型的下游性能相匹配，同时有望在推理过程中提高效率。 dLLM 的一个关键设计方面是采样程序，该程序选择在每个扩散步骤中揭开哪些标记。事实上，最近的工作发现，与随机揭露相比，置信度阈值等启发式策略可以提高样本质量和令牌吞吐量。然而，这种启发式方法也有缺点：它们需要手动调整，而且我们观察到它们的性能......
VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
视觉分词器将高维原始像素映射为下游建模的压缩表示。除了压缩之外，标记器还决定保留哪些信息以及如何组织信息。视频标记化事实上的标准方法是将视频表示为标记的时空 3D 网格，每个标记捕获原始信号中相应的局部信息。这需要使用令牌的下游模型（例如文本到视频模型）学习“逐像素”预测所有低级细节，而不考虑视频固有的复杂性，从而导致......
Conformal Thinking: Risk Control for Reasoning on a Compute Budget
推理大型语言模型 (LLM) 可实现测试时间扩展，随着令牌预算的增加，数据集级别的准确性也会提高，从而激励自适应推理——在可靠性提高时使用令牌，并在额外计算不太可能有帮助时提前停止。然而，设置代币预算以及自适应推理的阈值是一项实际挑战，需要进行基本的风险与准确性权衡。我们将预算设置问题重新定义为风险控制，限制错误率，同时最大限度地减少计算量。我们的框架引入了一个上限，可以阻止......
MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers
了解变压器组件在法学硕士中的工作原理非常重要，因为它是人工智能最新技术进步的核心。在这项工作中，我们重新审视了与前馈模块（FFN）的可解释性相关的挑战，并提出了 MemoryLLM，其旨在将 FFN 与自注意力解耦，并使我们能够将解耦的 FFN 作为上下文无关的 token-wise 神经检索记忆来研究。详细地，我们研究了输入标记如何访问 FFN 参数内的内存位置以及 FFN 内存在不同下游任务中的重要性。 MemoryLLM 实现...
Residual Context Diffusion Language Models
扩散大型语言模型 (dLLM) 已成为纯自回归语言模型的有前途的替代方案，因为它们可以并行解码多个标记。然而，最先进的分块 dLLM 依赖于“重新屏蔽”机制，该机制仅解码最有信心的令牌并丢弃其余令牌，从而有效地浪费了计算。我们证明，从丢弃的令牌中回收计算是有益的，因为这些令牌保留了对后续解码迭代有用的上下文信息。有鉴于此，我们提出了残余上下文扩散（RCD），该模块......
Metric-Dependent Annotation Saturation for Learning from Label Distributions
当注释者对某个标签存在分歧时，分歧本身就带有信号，而捕获该信号所需的注释者数量取决于评估指标。我们根据从 ChaosNLI（一个为每个项目提供 100 个独立注释器判断的数据集）二次采样的标签分布来微调 NLI 模型，并识别与度量相关的饱和度。在我们的 3 类 NLI 设置中，熵相关性（模型是否识别哪些项目引起分歧）需要 N ≈ 20-50 个注释器才能收敛，而分布匹配（KL 散度）则达到 N ≈ 10 饱和（五个模型的改进为 87-95%……
Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
法学硕士评委小组汇总来自多个模型的投票，期望不同的模型能产生更可靠的评估。我们开发了一个框架来衡量此类小组的真实信息价值，并量化其可靠性与独立投票理想的差距有多大。在三个自然语言推理数据集（每个项目有 100 个人类注释）上测试来自 7 个模型系列的 9 名前沿法学硕士小组，我们发现 9 名评委实际上只提供了大约 2 个独立投票的信息。大约四分之三的专家组名义上的独立性......
Introducing the Third Generation of Apple’s Foundation Models
我们的下一代 Apple Intelligence 以用户为中心，深入集成到我们的操作系统中，并由以隐私为核心的大胆新架构提供支持。该架构的核心是我们的第三代 Apple 基础模型 (AFM)，这是与 Google 合作定制的由五个基础模型组成的系列。这些涵盖从设备上的模型到在私有云计算上运行的基于服务器的模型。Apple 基础模型旨在为我们的用户解锁广泛的有用体验，例如全新的 Siri 和智能工具，使......
IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026
Apple 将在年度 IEEE/CVF 计算机视觉和模式识别 (CVPR) 会议上展示新的研究成果，该会议将于 6 月 3 日至 7 日在丹佛科罗拉多会议中心举行。我们很荣幸能够赞助这次会议，该会议汇集了计算机视觉和模式识别领域的科学和工业研究界。以下是 Apple 参加 CVPR 2026 的概述。
VSAS-Bench: Real-Time Evaluation of Visual Streaming Assistant Models
流式视觉语言模型 (VLM) 在给定指令提示和在线输入帧流的情况下不断生成响应。这是实时视觉助手的核心机制。现有的 VLM 框架主要评估离线环境中的模型。相比之下，流式 VLM 的性能取决于纯视频理解之外的其他指标，包括主动性（反映模型响应的及时性）和一致性（反映模型响应随时间的稳健性）。为了解决这个限制，我们提出了 VSAS-Bench，一个新的......
BalCapRL: A Balanced Framework for RL-Based MLLM Image Captioning
图像字幕是计算机视觉中最基本的任务之一。由于其开放性，它在多模态大语言模型（MLLM）时代受到了极大的关注。为了追求更加详细和准确的字幕，最近的工作越来越多地转向强化学习（RL）。然而，现有的字幕强化学习方法和评估指标通常强调字幕质量的狭隘概念，从而导致字幕核心维度之间的权衡。例如，以实用为导向的目标可能会鼓励嘈杂、幻觉或过长的字幕……
RVPO: Risk-Sensitive Alignment via Variance Regularization
当前无批评的 RLHF 方法通过算术平均值聚合多目标奖励，使它们容易受到约束忽略：一个目标的巨大成功可以在数字上抵消其他目标的关键失败（例如安全或格式），掩盖对于可靠的多目标对齐至关重要的低绩效“瓶颈”奖励。我们提出奖励方差策略优化（RVPO），这是一种风险敏感的框架，在优势聚合过程中惩罚奖励间的方差，将目标从“最大化总和”转变为“最大化一致性”。我们通过泰勒展开式展示......
Apple Workshop on Privacy-Preserving Machine Learning & AI 2026
在 Apple，我们相信隐私是一项基本人权。随着人工智能能力的增强并越来越融入人们的日常生活，推进隐私保护技术的研究对于确保用户在享受创新人工智能体验的同时保护隐私变得越来越重要。Apple 的基础研究一直在推动这一领域的最先进技术，今年早些时候，我们主办了隐私保护机器学习与人工智能研讨会。这次为期两天的活动汇集了苹果研究人员和更广泛的研究社区的成员，讨论......
